Ước lượng sai số trung bình bình phương cực tiểu

Hàm nguy cơ thông dụng nhất được sử dụng cho ước lượng Bayes là sai số trung bình bình phương (MSE). MSE được xách định bởi

M S E = E [ ( θ ^ ( x ) − θ ) 2 ] , {\displaystyle \mathrm {MSE} =E\left[({\widehat {\theta }}(x)-\theta )^{2}\right],}

khi giá trị kì vọng được xác định trên phân phối của θ {\displaystyle \theta } và x {\displaystyle x} .

Dùng MSE làm hàm nguy cơ, ước lượng Bayes của tham số chưa biết đơn giản là giá trị trung bình của phân phối hậu nghiệm,

θ ^ ( x ) = E [ θ | x ] = ∫ θ f ( θ | x ) d θ . {\displaystyle {\widehat {\theta }}(x)=E[\theta |x]=\int \theta f(\theta |x)\,d\theta .}

Nó còn được gọi là ước lượng sai số trung bình bình phương cực tiểu (MMSE). Hàm nguy cơ Bayes trong trường hợp này là phương sai hậu nghiệm.

Một số hàm nguy cơ khác

Hàm nguy cơ được lựa chọn dựa trên cách người ta xác định khoảng cách giữa giá trị ước lượng và giá trị thật của tham số. MSE là hàm nguy cơ được sử dụng phổ biến nhaast, chủ yếu vì sự đơn giản của nó. Tuy nhiên một số hàm nguy cơ khác cũng được sử dụng tùy lúc. Sau đây là một số ví dụ về chúng. Ta ký hiệu hàm phân phối hậu nghiệm tổng quát là F {\displaystyle F} .

• Hàm nguy cơ "tuyến tính" loss function, với a > 0 {\displaystyle a>0} , nhận giá trị med hậu nghiệm làm ước lượng Bayes:

L ( θ , θ ^ ) = a | θ − θ ^ | {\displaystyle L(\theta ,{\widehat {\theta }})=a|\theta -{\widehat {\theta }}|} F ( θ ^ ( x ) | X ) = 1 2 . {\displaystyle F({\widehat {\theta }}(x)|X)={\tfrac {1}{2}}.}